Helix:人形机器人的双系统 VLA
博客/论文:Helix: A Vision-Language-Action Model for Generalist Humanoid Control(Figure AI,2025)。Helix 想解决的是把 VLA 用到人形机器人上遇到的一系列具体问题:35+ 自由度的动作空间用离散 token 表示会爆炸;VLM 的推断延迟(100–200ms)跟 200Hz 的控制频率差一到两个数量级;躯干移动会同时改变工作空间和视野,闭环控制很不稳定。Helix 的做法是双系统架构:7B 参数的 VLM 负责慢速语义推理,80M 的轻量模型负责 200Hz 实时控制,两者通过共享 latent 向量耦合。这个思路后来在 NVIDIA GR00T N1 里被独立采用。
1. 人形机器人为什么是特殊挑战
| 挑战 | 具体问题 |
|---|---|
| 超高 DoF | 35+ 自由度,离散 token 动作表示爆炸 |
| 控制频率 | 200 Hz,而 VLM 推断约 7–9 Hz,差距 20–30 倍 |
| 全身协调 | 躯干/头部移动同时改变工作空间和视觉输入,反馈不稳定 |
| 数据稀缺 | 人形机器人遥操作数据远少于单臂 |
人形机器人不是"参数更多的机械臂",而是在几乎每个约束上都更难。VLA 用到人形上,要么大幅降低控制频率(放弃平衡精度),要么把网络做小(放弃语义理解),单一模型很难同时满足两头。
2. 双系统架构
System 2(S2)—— 慢速思考:
- 参数量:7B(基于开源 VLM,互联网预训练)
- 运行频率:7–9 Hz
- 输入:单目摄像头图像 + 机器人状态(腕部位姿、手指位置)+ 自然语言指令
- 输出:一个连续 latent 向量,编码高层语义意图
S2 负责场景理解、语言 grounding、语义规划。它不直接输出动作,只输出意图向量。
System 1(S1)—— 快速执行:
- 参数量:80M,交叉注意力 encoder-decoder Transformer
- 运行频率:200 Hz
- 视觉主干:全卷积多尺度,完全在仿真中预训练(解决真实数据稀缺)
- 输入:S2 的 latent 向量(投影后与自身视觉特征通过交叉注意力融合)
- 输出:35 DoF 连续关节动作
S1 不做语义推理,只管把 S2 的意图快速转成连续电机指令。
系统耦合:S2 持续更新共享内存中的 latent 向量,S1 每个 200 Hz 控制 tick 读取最新值。训练时梯度从 S1 反向传播回 S2,通过 latent 向量实现端到端联合优化,即使两个系统运行频率差 20–30 倍。
训练时引入时间偏移(temporal offset),模拟真实部署中 S2 慢更新加 S1 快读取的时间差,消除训练-推断分布偏移。这个技巧对双系统架构很重要——如果不做时间偏移,S1 训练时看到的都是"最新"的 S2 输出,部署时看到的是延迟的 S2 输出,两者分布不一致。
3. 动作空间设计
35 DoF 覆盖:
- 每个手指的弯曲和外展(精细灵巧手控制)
- 每条手臂的 6-DoF 腕部位姿
- 躯干朝向
- 头部注视方向
- 一个合成的"任务完成百分比"标量动作
最后这个"任务完成百分比"设计有点特殊:它把"何时停止"这个决策编码进了动作空间,模型不需要外部的任务完成检测器。到 100% 就自动停。这样多子任务的序列化也不需要显式状态机。
4. 训练
- 约 500 小时遥操作示范数据(作者描述为"不到同类 VLA 数据集的 5%")
- 多机器人、多操作员数据采集
- 自动语言标注:用独立 VLM 对视频片段做事后语言指令生成,无需人工标注
- 单一训练阶段,单一权重集,无任务专用微调、无独立动作头
- 标准连续动作回归损失
- 训练物体全部从评估集中排除,测试泛化
S1 的视觉主干完全在仿真中预训练——真实人形视觉数据稀缺,仿真数据几乎无限量。这跟 GR00T N1 用大量仿真数据的思路一致。
5. 部署:全板载
每台 Figure 02 机器人跑双嵌入式低功耗 GPU:
- GPU 1:S2 异步后台进程(7–9 Hz VLM 推断)
- GPU 2:S1 硬实时进程(200 Hz 控制)
- 共享内存 latent 向量桥接两块 GPU
全板载部署对人形机器人比较重要——依赖云端在户外场景断网就崩,工业场景对延迟和隐私也有要求。
6. 能力展示
| 能力 | 结果 |
|---|---|
| 新物体泛化 | 通过自然语言提示处理数千件新家居物品 |
| 多机器人协同 | 两台 Figure 02 用相同权重,通过语言角色分配零样本协作 |
| 数据效率 | 约 500 小时训练数据,比同类 VLA 少 20 倍 |
| 控制频率 | 200 Hz,跟专用单任务模仿学习策略持平 |
| 零样本语义抓取 | 处理抽象命令("拿沙漠的东西" → 仙人掌玩具) |
多机器人协同的做法:两台机器人共享同一套权重,任务分工完全靠自然语言角色分配("你负责左侧,你负责右侧"),不需要机器人间的显式通信协议。扩展到更多台机器人不需要改架构。
7. 跟其他 VLA 的对比
| 维度 | Helix | π0/π0.5 | OpenVLA | GR00T N1 |
|---|---|---|---|---|
| 目标平台 | 人形(35+ DoF) | 双臂(14–19 DoF) | 各类单/双臂 | 人形 |
| 控制频率 | 200 Hz | 50 Hz | ~6 Hz | 120 Hz |
| 动作表示 | 连续(无 token 化) | 流匹配 | 离散 token | 扩散 DiT |
| 系统结构 | 双系统(7B + 80M) | 单模型 | 单模型 | 双系统 |
| 部署 | 全板载(无云) | 部分板载 | 云端/本地 GPU | 部分板载 |
| 数据量 | ~500 小时 | ~10,000 小时 | 97 万条 | 5 万小时人形 |
Helix 和 GR00T N1 都用双系统架构,但选择不同:Helix 的 S1 是全卷积仿真预训练小网络,GR00T N1 的 System 1 是扩散 DiT。两者都在同一个方向上探索。
8. 局限
Helix 的定量评估没有公开——展示都是视频,没有具体成功率数字。S1 仿真预训练视觉主干在极端光照或高度杂乱的真实场景中鲁棒性未知。500 小时数据上的泛化能力到任务复杂度增加时是否还能保持,缺乏系统评估。双系统 S1/S2 理论上可以独立升级,但两者协同的稳定性如何随 S2 的 VLM 骨干替换而变化,Figure 没有做消融。
Figure AI 的技术细节保守——比公开的还多细节都留在内部。这条路后续的公开进展需要看 Figure 03 或者其他厂商跟进。